\documentclass[UTF8]{ctexart}
\usepackage{amsmath}
\usepackage{amsthm,amsmath,amssymb}
\usepackage{mathrsfs}
\usepackage{mathrsfs}
\usepackage{graphicx}
\usepackage{subfigure}
\usepackage{epstopdf}
\usepackage{indentfirst}
\usepackage{caption}
\usepackage{lmodern}
\usepackage{float}
\usepackage{geometry}
\setlength{\parskip}{0.5em}
\geometry{a4paper,scale=0.73}
\pagenumbering{arabic}
% info
\title{AI 第四次作业}
\author{刘本宸 22920202200764}
\date{\today}
\begin{document}
\maketitle
\tableofcontents
\makeatletter %使\section中的内容左对齐
\renewcommand{\section}{\@startsection{section}{1}{0mm}
    {-\baselineskip}{0.5\baselineskip}{\bf\leftline}}
\makeatother
\newpage

\section{Q1}
\subsection{根据极大似然求解矩阵$W_{(d+1) \times 1}$}
\paragraph{根据极大似然估计我们有：}
\begin{equation}
    \mathbf{L(X;Y;W)} = \prod_{i=1}^n\mathbf{P}(y_i|x_i;W)
    = (\frac{1}{2\pi\sigma^2})^{\frac{n}{2}}exp(-\frac{\sum_{i=1}^n(y_i-x_iW)^2}{2\sigma^2})
\end{equation}
\paragraph{对似然函数求对数我们有：}
\begin{equation}
    \mathbf{ln L(X;Y;W)} = \sum_{i=1}^n\mathbf{lnP}(y_i|x_i;W) = -\frac{n}{2}ln(2 \pi \sigma^2)-\frac{1}{2 \sigma^2}\sum_{i=1}^n(y_i-x_iW)^2
\end{equation}
\paragraph{要使得似然函数在W的某一取值下最大，所以就是求下面式子的最小值}
\begin{equation}
    \mathbf {G(X;Y;W)} = \sum_{i=1}^n(y_i-x_i \mathbf W)^2
\end{equation}
\paragraph{设$Y = (y_1,y_2, \dots ,y_n)^T_{n \times 1}, X = (x_1, x_2, \dots , x_n)^T_{n \times d+1}(x_i \in \mathbf {R^{d+1}}, \text{x add one element as bias})$ ，上述式子可以化简为：}
\begin{equation}
    \sum_{i=1}^n(y_i-x_i \mathbf W)^2 = (Y-X \mathbf W)^T(Y-X \mathbf W)
\end{equation}
\paragraph{对其求梯度，并且使其梯度等于0，即可得到W的值:}
\begin{equation}
    \nabla_W \mathbf{G} = 2X^TXW - 2X^TY= 0
\end{equation}
\paragraph{解得：}
\begin{equation}
    W = (X^TX)^{-1}X^TY
\end{equation}
\paragraph{与最小二乘法的结论相同。}

\subsection{答案是与最小二乘法的结果是一样的么？为什么？}
\paragraph{答案是一样的} 对于最小二乘法来说，我们需要使得误差最小（也就是平方损失最小）。这是为了让我们拟合的直线可以
最好的满足给定的数据集。对于极大似然估计来说，我们希望每一个数据点在给定的x的情况之下，y出现的概率最大。而我们对y的估计值是
存在一层均值为$\hat{y}$高斯噪声的。更像是频率学派的观点。
\subsection{相比于最小二乘法，极大似然估计的优势在哪里？}
\paragraph{}
最大似然估计以最大化目标似然函数作为目标函数，从概率统计的角度处理线性回归问题。
于是我们就想使误差最小，这是一个很自然的想法，也就是使当前事件发生的概率最大，残差最小。
并且在高斯函数的噪声的假设之下与普通的最小二乘法建立了关系。
\paragraph{}
而且，极大似然函数的设计方法相比于最小二乘法的平方损失函数的设计方法
更为简单，同时也可以适应多种分布的问题。因此，基于极大似然思想的广义线性模型
更可以解决更为广泛的问题。
\end{document}